首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • AI Agent 治理安全:从实验到生产的关键挑战

    如何让AI Agent安全可控地工作? Markus治理体系深度解析一、Agent 自治悖论:能力越强,越需要治理想象一下:你的 AI Agent 能自己执行 Shell 命令、读写文件、管理 Git 仓库、调第三方 API,还能跟其他 Agent 本文以开源 AI 智能体平台 Markus 的治理体系为蓝本,深入剖析一套生产级的 AI Agent 安全治理方案——从信任体系、任务状态机、工作区隔离到审计追踪,逐一拆解其设计实现。 但传统安全模型不同,Markus 引入了一个动态调整的渐进式信任体系——Agent 的自治权限不是静态分配的,而是通过持续的行为表现逐步获得的。 十一、总结:治理不是限制,而是赋能AI Agent 治理面临一个根本性的平衡问题:如何在 Agent 的自主性和安全性之间找到最佳平衡点?

    24010编辑于 2026-05-22
  • 腾讯云全链路AI Agent安全治理防御架构解析

    应对无边界特权供应链投毒的智能体运行风险 在企业部署和应用AI Agent(如OpenClaw架构,内部代号“龙虾”)的过程中,传统网络安全边界逐渐消失,企业面临严重的权限失控资产裸露挑战。 构建基于“云-网-端”协同的智能体防护组件 针对上述AI架构带来的安全新范式,腾讯云基于自身防护经验,构建了覆盖宿主层、运行层、应用层网络层的AI智能体安全治理框架: AI Agent安全中心(管控中枢 AI Agent安全网关(访问流控): 提供OpenClaw身份验证凭据管理,解决“谁可用”及“访问权限”问题。通过Token限流保障业务系统的高并发稳定性。 iOA协同,企业在系统稳定性、运维管理开发合规上实现以下量化安全状态: 实现100%零信任三层防御闭环: 事前(Agent准入): 执行合规检测软件管控,确保仅安全Agent进入环境。 这使得企业无需从零搭建底层安全架构,即可直接复用腾讯在应对海量并发高危攻防对抗中沉淀的智能体治理经验,实现业务的提质增效。

    1K20编辑于 2026-03-23
  • 企业AI Agent安全治理实践:腾讯OpenClaw防护体系量化成效

    识别企业AI Agent安全治理核心痛点 当前企业使用AI Agent(OpenClaw)面临结构性安全风险,核心痛点源于四层挑战: 提示词安全:22+入口频道、4种注入向量、20+可绕过检测正则, 部署腾讯AI Agent安全防护体系 腾讯基于SCQA+托逻辑,提供“场景化能力+工具矩阵”防护方案,核心包括: 场景化核心能力 资产暴露面管控(场景1):自动盘点AI Agent资产(如lins-cyd4zirx Agent身份管控(场景7):AI Agent安全网关部署(强制OAuth2.0认证),校验Agent身份MCP服务授权(数据来源:场景7核心能力)。 阐释腾讯方案技术领先性 腾讯AI Agent防护体系核心优势: 技术架构:AI Agent安全网关(身份认证+权限管理+敏感数据处理)、Lighthouse原生安全(环境隔离+快照回滚)、Agent (注:文中数据均源自腾讯全球数字生态大会城市峰会“企业AI Agent安全治理防护实践”演讲材料,主讲人杨忠。)

    38310编辑于 2026-05-18
  • 腾讯云构建AI Agent全生命周期安全治理体系

    一、企业采用AI Agent遭遇的安全困境 企业在部署和“饲养”AI Agent的过程中,面临传统安全边界失效的挑战。 二、构建覆盖全链路的安全治理框架 腾讯云基于自身防护经验,打造了腾讯AI智能体安全治理框架,旨在为企业构建可靠的智能体安全体系。 核心产品矩阵 AI Agent安全中心:提供管控平台,实现资产清点、深度审计运行管控,确保Agent“看得见、管得住、审得清”。 AI Agent安全网关:解决身份认证凭据管理问题,提供“身份-风险-稳定性”三位一体保障,支持Token限流及防提示词注入。 服务延伸:提供AI团队测试评估服务AI风险情报服务,协助企业进行Agent安全风险评估加固。

    24110编辑于 2026-05-28
  • 来自专栏AI Agent数字员工平台最佳实践

    如何让AI Agent安全可控地工作?Markus治理体系深度解析

    2026年AI Agent生态全景:五大趋势开源平台的破局之道引言:Agent 2.0 的转折时刻2024年,CrewAI、AutoGen、LangGraph这些框架扎堆冒了出来,AI Agent的概念开始真正落地 MCP的关键设计原则:工具发现:Agent可以动态查询可用的工具列表标准化调用:统一的工具调用接口,无论后端是API、数据库还是文件系统安全边界:工具权限Agent角色绑定A2A:AgentAgent 两者结合,才能构建真正的Agent互联网。趋势四:AI治理信任体系——从"能用"到"可靠"信任不是状态,而是过程2024年,大多数Agent系统的工作方式是"信任它,或者不信任它"——二元化的。 企业级治理的四个核心治理维度2025年状态2026年标准权限控制简单角色划分细粒度角色+信任等级+资源级权限审计能力基础日志完整审计链+可追溯+不可篡改安全性无或基础紧急停止、暂停所有Agent、广播通知合规性手动检查自动化合规检查 Agent间经济(Agent Economy):Agent之间互相提供服务、交换资源的经济模型——这可能比人类共享经济市场更大多模态Agent:从文本到代码、图像、音频、GUI操作的全面融合Agent安全对齐

    21310编辑于 2026-05-22
  • 来自专栏肉眼品世界

    信息安全IT治理

    1.2K20发布于 2021-09-27
  • 腾讯云AI Agent安全治理框架:重塑智能体边界运行时管控体系

    应对智能体越权资产失控危机 随着企业大规模引入AI Agent(智能体),传统网络安全边界逐渐消失,权限管控面临失控的新安全范式。 AI Agent安全中心(管控隔离中枢) 提供全局视角的安全管控平台,实现对Skills的漏洞检测供应链安全扫描。 核心网络流量防御网关 AI Agent安全网关: 解决“谁能用智能体”及“智能体能访问什么”的权限界定问题。提供MCP封装、凭据管理、内容安全合规敏感数据脱敏。 方案提供覆盖全流程的开箱即用产品服务,包括但不限于:AI红队测试评估服务、AI风险情报服务、Agent安全风险评估加固服务,并联动AI-SPM大模型态势管理、AIGC内容安全及慧眼人脸识别等组件,构建了覆盖互联网威胁发现未知样本检测的全方位防护网络 腾讯云AI Agent安全解决方案的核心优势在于其“全链路防护 + AI原生防御”的技术基因。

    31110编辑于 2026-05-21
  • 来自专栏FreeBuf

    观点 | 数据治理数据安全治理思考

    微软的DGPC数据安全治理框架认为数据安全治理需围绕人员、流程和技术三个核心领域展开,现有安全框架(通常意义上现有的安全管理体系的融合)协同合作以实现隐私、保密和合规的安全治理目标。 总体而言,数据安全治理的核心内涵包括从战略层面形成由上而下贯穿组织总体架构的对数据安全治理目标的共识,关注数据处理全生命周期安全,重视管理技术措施并举,并能够根据安全形势、技术发展和演进趋势等的动态变化 数据安全治理的输出包括数据的分级分类,安全使用规范,数据的可视化、监控和发现要求等,以及最终如何采用技术手段推动人员组织流程的落地。 →数据安全网络安全 数据安全法中关于数据开发利用安全保护的论述,证明数据安全数据利用同等重要的地位,业务发展安全并架而行,数据安全的核心是安全和合规。 不同于网络安全的建设,数据安全治理的建设,经营业务、数据治理(数据开发利用)有更多的互动,牵扯范围更广,行业经验形成标准化复制难度较大,落地推动工作需要更多适配本地环境因素的摸索。

    2.4K30编辑于 2023-03-30
  • AI Agent安全实践指引

    月) 行业标签:技术服务,安全 产品标签:undefined#AI Agent安全中心undefined#AI Agent安全网关undefined#iOA(终端安全管理系统)undefined #威胁情报能力 第二章:报告背景和目标 随着AI Agent在企业规模化部署,其自主决策工具调用能力挑战了传统安全体系,引发权限滥用、供应链风险等新型威胁。 组件安全核验:建立Skills白名单机制,扫描恶意代码提示词注入。 全链路审计:记录JSONL格式日志,实现工具调用、决策路径的100%可追溯。 第六章:为什么选择腾讯云 腾讯云通过以下能力为AI Agent提供全生命周期防护: 开箱即用防护体系:整合AI Agent安全网关(输入过滤)、iOA终端沙箱(运行隔离)、威胁情报库(恶意组件识别) 权限动态治理:基于最小权限原则的动态授权引擎,支持分级审批敏感操作拦截。 安全能力模块化:提供AI资产盘点、Token限流、数据防泄漏等标准化模块,降低企业部署复杂度。

    1K20编辑于 2026-04-02
  • 来自专栏公共互联网反网络钓鱼(APCN)

    企业 AI 代理安全治理社会工程攻击防御研究

    本文以该研究为核心依据,系统剖析 AI 代理的安全属性、典型攻击链路防御缺口,构建包含权限最小化、提示词安全、执行网关、人工在环全链路审计的多层治理框架,提供可工程化的防御代码示例。 2.3 影子 AI 带来的治理盲区组织长期建设的安全管控流程,在 AI 时代面临影子 AI冲击:员工私自使用未审批 AI 工具处理业务数据;供应商默认开启 AI 功能,未告知 IT 安全团队;多工具集成形成代理联动 4 AI 代理安全治理框架:类员工入职式管控KnowBe4 提出安全治理核心思路:像招聘新员工一样入职 AI 代理,建立清单化、权限最小化、提示词安全、人工在环、持续审计的全流程机制,实现 “零隐形 AI 配套 Agent Risk Manager 类工具,监测影子 AI、敏感信息泄露、无限制调用等风险行为。 反网络钓鱼技术专家芦笛指出,AI 代理安全不是技术补丁问题,而是治理范式升级问题。

    16010编辑于 2026-05-28
  • 构建可观测、可管控、可溯源的AI Agent企业级安全治理体系

    识别AI原生安全新范式带来的核心挑战 随着AI Agent在企业内部的广泛部署,传统安全边界逐渐消失,权限管控面临失控风险。 企业主要面临六大安全挑战:无边界特权环境失控、高危漏洞频发、供应链投毒风险、凭据数据泄露风险、持久状态被篡改、终端环境被入侵。这些挑战使得AI Agent的运行环境成为新的安全盲区。 腾讯云AI Agent安全治理框架的整体方案 腾讯云安全基于自身防护经验,构建了覆盖AI监管要求标准体系的完整安全框架。 量化实现Agent资产全生命周期安全管理 通过AI Agent安全中心,企业可实现对内部AI资产的自动清点实时排查,确保所有Agent"看得见、管得住、审得清"。 ,筑牢AI工具链防线 客户实践:某金融机构的Agent安全治理之路 某大型金融机构在引入多个业务AI Agent后,面临权限混乱和数据泄露风险。

    28710编辑于 2026-05-28
  • 来自专栏程序员

    失控的“打工人”:AI Agent安全对齐难题

    当我们赋予这些“打工人”越来越大的自主权时,一系列严峻的安全伦理问题也随之浮出水面。如果它们误解指令、被恶意利用,甚至做出无法解释的决策,我们将面临怎样的风险? 这种“目标错位”是AI安全领域最核心的担忧之一。2.武器的化身:当Agent被恶意利用如果说误解是“无心之失”,那么被恶意利用则是“有心为恶”。 法规治理:政府和国际组织需要未雨绸缪,建立针对高级AIAgent的开发、测试和部署的法律框架标准,明确责任归属,划定行为红线。 行业自律公众监督:科技公司必须将安全和伦理置于商业利益之上,建立严格的内部审查机制。同时,关于AI发展的讨论必须向公众开放,这不仅是技术议题,更是关乎我们所有人的社会议题。 在将它们推向世界之前,我们必须竭尽全力,确保这些强大的“打工人”不仅是高效的,更是安全、可靠且与我们同心同德的。这场关乎人类命运的对齐竞赛,其重要性,不亚于开发AI本身。

    36210编辑于 2025-10-05
  • 来自专栏公共互联网反网络钓鱼(APCN)

    氛围编码应用暴露下影子 AI 安全风险治理框架研究

    反网络钓鱼技术专家芦笛指出,氛围编码应用因默认公开、低安全门槛特性,已成为批量钓鱼站点快速生成分发的核心载体,必须将平台级准入、前置安全门禁、持续监测纳入企业影子 AI 治理体系。 IBM 数据显示,20%安全事件影子 AI 相关,平均额外增加成本67 万美元,平均事件总成本达463 万美元;涉事企业中 **97%** 缺乏访问控制,**63%** 无 AI 治理政策,**65% AI 治理政策 + 定期审计 发布可接受使用策略,设置上线前安全门禁6.1 一级措施:72 小时应急响应运行资产发现脚本,枚举企业相关影子应用标记公开未认证应用,优先关停或设为私有检查连接数据库密钥暴露情况向网关 RLS 策略周期性扫描钓鱼站点监测纳入漏洞赏金威胁狩猎范围6.3 三级措施:长期治理将影子 AI 纳入企业全面安全治理体系建立 AI 工具审批、监测、审计闭环安全左移,将风险控制嵌入 AI 辅助开发流程行业情报共享 未来研究可进一步面向 AI 生成代码开展语义安全分析,构建跨平台统一治理引擎,实现从 “被动发现” 到 “主动拦截” 的演进,为企业在低代码、AI 化开发趋势下提供可持续的安全保障体系。

    24310编辑于 2026-05-11
  • 腾讯云 AI Agent 全栈安全防护原生安全架构解析

    一、 产品定位核心亮点 技术定义: 本产品是构筑 Agent 时代的云端全栈安全基座(Cloud AI Agent 整体安全架构)。 其本质是一套深度集成于 AI Agent 运行环境的企业级原生安全解决方案,涵盖从基础设施到业务逻辑的端到端防护。 商业价值: 解决 AI 越权、数据外泄合规风险,推动企业从让 AI“能用”跨越到“放心用”的阶段。 二、 产品应用场景 该产品主要面向企事业单位的 AI 应用开发者、IT 安全运维人员以及大模型业务提供方,解决其在开放和使用 AI Agent 时面临的四大高频业务风险场景: 防护 Agent“运行时” 功能框架 Cloud AI Agent 整体安全架构由三大核心组件构成,全面覆盖生产 VPC 外部服务: AI Agent 安全网关: 包含 OneID 认证、Agent 接入管理、Agent 身份权限管理

    200编辑于 2026-06-09
  • Agent安全风险升级:从信息错误到系统破坏的治理框架

    Agent能力演进引发安全质变 AI Agent已从信息生成工具(答案层)演变为具备系统操作能力的执行层工具。其应用场景从知识检索、内容生成,深度渗透至代码协同、运维操作和跨系统流程自动化。 认证强化:通过AI Agent安全网关实现企业微信OAuth认证,确保访问源头可信。 运行时意图识别高风险操作拦截 在Agent核心执行链路嵌入动态防护点,实现意图级安全控制: LLM推理防护:分析Agent任务意图,在执行前后设置Hook检测点监控敏感操作。 出口管控:外部模型调用通过AI Agent网关统一出口,实施Token限速DLP检测;内网访问严格遵循生产区白名单策略。 腾讯云的技术确定性保障 腾讯云AI Agent安全方案基于云原生安全能力构建,具备两项核心优势: 产品化集成:AI Agent安全中心云端环境无缝集成,无需额外部署即可实现资产识别、风险扫描和行为审计

    18310编辑于 2026-06-01
  • 来自专栏华汇数据服务

    全球数据安全治理的趋势困境

    一方面,安全和利用应看作是一体之两翼、驱动之双轮,最佳的数据安全治理在于能够达到“数据自由流动”“数据安全”之间的动态平衡。 另一方面,数据安全治理应根据各国的国情特点,在“良好的数据保护”“数据开发利用”两个目标之间展开。  第四,从竞争到竞合:治理方式的秩序呈现。 特别是随着主要发达国家和技术强国持续推行数据发展战略,如何防范部分主权国家被剔除出全球数据网络、平衡各国的数据发展战略和国家利益,也是未来各国际行为体在推进全球数据安全治理体系中需要达成共识、深化合作的重点难点 第三,治理制度供给不足制度规则间的异质性增加了全球数据安全治理机制构建的难度。面对风险性和不确定性日益倍增的数据安全现状,全球数据安全治理规则仍然处于“空白期”。 正是由于有效制度供给的不足以及主权国家之间制度规则的异质性,不同程度上削弱了全球数据安全治理机制的效用。  显而易见,鉴于数据安全的技术应用特性,有效确保全球数据安全仍然面临诸多现实挑战。

    1.3K30编辑于 2022-10-14
  • AI LLM Agent 构建安全基础

    AI / LLM / Agent 构建安全基础——打造可信、可控、可持续的智能生态体系一、引言:智能化浪潮下的“安全底线”2025 年,人工智能正进入自治智能代理(Agentic AI)时代。 身份权限 多 Agent 系统中权限边界模糊,滥用 API 权限 自动化 Agent 获得管理系统访问权后执行破坏性操作 供应链安全 外部模型 / 插件 / 依赖被篡改 4️⃣ E — Explainable & Ethical Governance(可解释伦理治理)关键问题:AI 是否“可解释”“可追溯”“合规”? 四、AI 安全落地实践:企业级防护体系案例 案例 1:金融机构 AI 运维系统安全化背景:AI 运维平台采用多个自主 Agent 自动执行巡检、补丁升级。 ,AI、LLM 智能 Agent 才能真正成为推动组织智能化、自动化的可信力量。

    4.8K10编辑于 2025-10-11
  • 来自专栏openclaw系列

    AI Agent权限的交响曲:深度解析OpenClaw 的联合权限网关(Union Action Gate)安全治理模型

    引言:当 AI 拥有多个“身份”,如何安全地行动?在 2026 年,AI Agent 的应用场景早已超越了单一的聊天或任务执行。 第一章:背景挑战——多账户时代的权限困境 在单账户时代,权限问题相对简单:Agent 要么有权限,要么没有。但在多账户场景下,情况变得复杂得多。 4.1 安全隔离性 凭证隔离: 每个账户的权限判断逻辑是独立的。一个账户的权限配置错误,不会直接影响其他账户的决策。 它的模块化设计意味着,我们可以很容易地在其之上叠加新的治理层,而不会破坏现有的稳定架构。 结语:权限即责任在 AI 代理的世界里,权限 责任 是一枚硬币的两面。 当我们赞叹 AI 能为我们完成多么复杂的任务时,或许更应该欣赏那些在幕后默默守护着安全秩序的、像 createUnionActionGate 一样精巧的设计。

    21620编辑于 2026-04-01
  • AI账单上涨成本治理技术

    采购组织风险我们的供应商合同仍然是按席位计费的。这是问题吗?是的。按席位定价已不能清晰地映射到AI系统产生成本的方式。在许多AI密集型产品中,席位正成为包含基础使用量的外壳,而不是总成本的可靠代理。 两个拥有相同席位数量的团队可能产生截然不同的账单,如果一个团队将AI用于偶尔起草文案,而另一个团队则在客户支持、软件开发或安全工作流中运行上下文密集型代理。 研究表明,计划部署代理式AI的组织中,只有约五分之一拥有成熟的治理模式。 不受管理的AI消费会以复合的方式侵蚀利润率,而那些良好治理AI经济学的组织将比不这样做的组织拥有结构性的成本优势。 Token正成为一种真实的运营输入,对于那些打算认真规模化AI的组织来说,以能源采购或资本支出相同的严谨性对待Token并非可选项。️

    17110编辑于 2026-05-20
  • 前沿安全框架升级:强化AI风险治理新举措

    强化前沿安全框架关键框架更新应对有害操控风险本次更新引入了一个专注于有害操控的关键能力等级,具体针对那些具备强大操控能力的AI模型。 这一补充建立并实践了为识别和评估生成式AI驱动操控机制所进行的研究。未来,将继续投资这一领域,以更好地理解和衡量有害操控相关的风险。 细化了关键能力等级的定义,特别是为了识别那些需要最严格治理和缓解策略的关键威胁。在达到特定关键能力等级阈值之前以及作为标准模型开发方法的一部分,将继续应用安全和安保缓解措施。 推进对前沿安全的承诺前沿安全框架的最新更新,体现了继续致力于采取科学和基于证据的方法来跟踪和领先于AI风险,因为其能力朝着通用人工智能的方向发展。 希望更新的前沿安全框架能为这一集体努力做出有意义的贡献。脚注该框架围绕着称为关键能力等级的能力阈值构建。这些是指,若缺乏缓解措施,前沿AI模型或系统可能构成严重伤害加剧风险的能力水平。

    14210编辑于 2026-01-15
领券